Khi Chiến dịch Barbarossa, cuộc xâm lược của Đức vào Liên Xô, nổ ra vào tháng 6 năm 1941, Koshevoy vẫn ở lại với sư đoàn trong Quân khu Zabaikal. Tháng 11 năm 1941, Sư đoàn 65 được chuyển thuộc Phương diện quân Volkhov, trực thuộc Tập đoàn quân 4, tham chiến trong Chiến dịch phòng ngự Tikhvin. Do thành tích chiến đấu xuất sắc, sư đoàn đã được trao tặng Huân chương Cờ đỏ.

Ngày 2 tháng 7 năm 1942, Koshevoy được chuyển sang làm chỉ huy Sư đoàn súng trường cận vệ số 24 thuộc lực lượng dự bị. Sư đoàn được chuyển thuộc Tập đoàn quân 8 từ ngày 7 tháng 8, tham chiến trong Chiến dịch tấn công Sinyavino. Ông được thăng cấp thiếu tướng vào ngày 1 tháng 10.[2]

Ngày 25 tháng 10 năm 1942, Sư đoàn được chuyển đến Rasskazovo, trực thuộc Tập đoàn quân Cận vệ 2, lực lượng dự bị của Bộ Tổng Tư lệnh Tối cao, nhận bổ sung quân số và trang bị mới. Giữa tháng 12, tập đoàn quân được bổ sung cho Phương diện quân Stalingrad, tham gia phản kích chống Chiến dịch Bão Mùa đông, một nỗ lực bất thành của Đức nhằm cố gắng giải tỏa các đạo quân bị bao vây ở Stalingrad.

Sau trận Stalingrad, Sư đoàn được chuyển đến Phương diện quân Nam, tham chiến trong Chiến dịch phản công Salsk-Rostov, một phần của cuộc tấn công chiến lược Bắc Kavkaz vào đầu năm 1943. Nó được đưa về dự bị ở Voroshilovgrad để xây dựng lại từ tháng 3. Trong mùa hè, sư đoàn trực thuộc Tập đoàn quân Cận vệ 2 của Phương diện quân Nam, tham gia các cuộc tấn công Mius và Chiến dịch Donbas.[3]

Trong Chiến dịch Donbas, ngày 28 tháng 8, Koshevoy được bổ nhiệm làm chỉ huy của Quân đoàn súng trường 63 thuộc Tập đoàn quân 51. Quân đoàn sau đó được chuyển thuộc các tập đoàn quân 44 và 51 của Phương diện quân Ukraina 4, tham gia chiến đấu ở Melitopol và Chiến dịch Krym, tham gia giải phóng Kakhovka, Simferopol và Sevastopol. Do thành tích chỉ huy quân đoàn, Koshevoy đã được phong danh hiệu Anh hùng Liên Xô và được trao tặng Huân chương Lenin vào ngày 16 tháng 5 năm 1944,[4] được thăng cấp Trung tướng một ngày sau đó.[2]

Ngày 27 tháng 5, Koshevoy được chuyển sang làm chỉ huy Quân đoàn súng trường 71, bấy giờ thuộc biên chế Tập đoàn quân 31 của Phương diện quân Belorussia 3, tham chiến trong Chiến dịch Bagration và Chiến dịch Baltic. Do thành tích chiến đấu, Quân đoàn 71 được trao tặng Huân chương Cờ đỏ.

Ngày 7 tháng 1 năm 1945, Koshevoy được chuyển sang chỉ huy Quân đoàn súng trường Cận vệ 36 thuộc Tập đoàn quân Cận vệ 11 và giữ cương vị này cho đến hết chiến. Trong Chiến dịch Đông Phổ, quân đoàn đã chiếm được Insterburg, Königsberg và Pillau. Trong cuộc tấn công, theo cấp trên của mình, Koshevoy đã đích thân tổ chức các cuộc tấn công của quân đoàn và chỉ huy ở tiền phương, trong khu vực "nguy hiểm và nguy hiểm nhất" của Insterburg. Với "khả năng lãnh đạo khéo léo" trong cuộc tấn công, "lòng dũng cảm và chủ nghĩa anh hùng", ông đã nhận được danh hiệu Anh hùng Liên Xô lần thứ hai vào ngày 19 tháng 4.[3]